面向多轮智能体强化学习的进度感知优势塑形框架 ProAS
🧭 多轮 Agent RL 信用分配 · 优势塑形 ★ 深度解读
Zhejiang University · Westlake University · Westlake Institute for Advanced Study · Huawei Noah's Ark Lab
用动态任务参考图对轨迹级优势做非对称掩码和惩罚重分配，解决 critic-free 智能体 RL 的均匀信用分配问题
📌 工作参考价值（4 点）
- 在基于 GRPO/DAPO 的智能体 RL 中，避免把轨迹级 advantage 均匀广播；可构造任务进度参考图（如电商购物流程：搜索→商品页→选规格→结算）给动作打 reasonable/progress-advancing 标签，在优势侧做掩码和重加权。
- 建议优先使用优势塑形而非奖励塑形：论文消融显示直接加 progress-aware reward 比 advantage shaping 低 14.1 个成功率点，简单 mask 合理动作或按 suffix 长度加权也不如 Future-Drift 归一化重分配。
- 工程上可以用历史成功会话自动构建/更新参考图，无需完美人工标注；即使剪枝 40% 或由教师模型蒸馏，只要保留在线演化，仍能带来显著提升，适合快速落地。
- 对负优势轨迹，按动作引起的下游停滞程度（Future-Drift）对惩罚做比例再分配，优先惩罚早期偏航动作，比均匀惩罚更公平，能加速收敛（最高 2.44×）。
SERO：从可执行 Oracle 续推中学习长时程智能体强化学习
🧭 长时程 Agent RL 的可执行 oracle 续推训练 ★ 深度解读
Shanghai Artificial Intelligence Laboratory · Shanghai Jiao Tong University · Tongji University
将训练期 oracle 多步续推作为辅助监督，并用前缀可达性权重控制离策略深度，提升长时程 Agent RL 的 OOD 表现。
📌 工作参考价值（4 点）
- 在多轮会话型业务（导购/搜索/推荐 Agent）中，可维护训练期 oracle（强规则、大模型或人工策略），从线上策略实际到达的状态恢复环境并执行后续 oracle 动作，把整条“可执行分支”而非单步纠正作为 SFT/RL 辅助监督；推理时完全移除 oracle，不增加线上成本。
- 引入 policy-reachability weighting：用冻结策略对 oracle 前缀的 likelihood 乘积衰减深层监督，避免在策略不兼容的深度离策略状态上乱学；随策略提升自动延长有效监督 horizon。可迁移到多步推荐/对话策略蒸馏，对 OOD 流量更稳。
- 将 oracle 辅助 loss 与 base RL 解耦：不改动 reward/advantage/importance ratio，降低与现有 credit assignment 方法（如 GRPO、GraphGPO）的集成成本，业务上可作为插件式模块，关掉 λ_O 即可回退到原方法。
- 如果业务环境支持状态快照恢复，可构造 counterfactual 续推数据用于诊断和训练；若不支持，也可用真实日志回放近似，但需注意状态-环境一致性。
基于轨迹图的逐步优势估计用于 Agent 强化学习
🧭 Agentic RL 的 step-level 信用分配 ★ 深度解读
Shanghai Jiao Tong University · Tencent AI Platform Department
用轨迹图合并多条 rollout，以 Bellman 迭代反传稀疏奖励估计状态价值，得到符合 RL 定义的 step-level advantage
📌 工作参考价值（4 点）
- 无 PRM 的步骤级信用分配：把同一 prompt 下的多条 rollout 按状态合并成有向图，用终端奖励做 Bellman 反向迭代估计节点价值，得到 step advantage。适合多轮对话/任务型 agent 只有结局奖励（成功/失败）的场景，不需要额外 step reward 标注或 critic 模型。
- 状态 canonicalization 可复用：对 LLM 生成的中间状态用 exact matching 或 embedding 相似度聚类，解决语义相同但文本不同的问题。电商搜索 agent、多轮推荐对话中，可以把用户状态和系统动作序列映射为图节点，聚合跨轨迹的相似状态。
- Graph GAE + on-state group norm 稳定训练：用图上的 GAE 加权多跳 TD residual 降低 value estimation bias；按同一源节点的出边做 group normalization。这两个 trick 对稀疏奖励下的策略梯度方差控制有直接借鉴价值，可嵌入现有 GRPO 类训练框架。
- 步骤级重要性比匹配优势粒度：GRPO-C 用 step 级（或序列级）geometric mean importance ratio 替代 token 级分配，避免 response-level advantage 被错误均匀分配给每个 token。若你在做多轮交互的策略优化，建议把 action 定义为“一步回复/一次工具调用”而不是 token，更新时用步骤级 likelihood ratio。
SpatialCLI：先借助空间工具推理，再摆脱工具
🧭 Agent 工具学习与能力内化
Zhejiang University · Zhuoyu Technology · Beihang University · University of Electronic Science and Technology of China · Nanyang Technological University
提出三阶段框架让 VLM 学会调用空间工具，再将工具能力内化到自身，推理时无需工具仍高性能
📌 工作参考价值（4 点）
- 三阶段训练策略：先用工具增强数据做冷启动 SFT，再用 Agentic RL 提升工具调用准确率，最后将成功轨迹转化为 SFT 数据内化能力，可直接迁移到推荐/搜索 Agent 的工具调用训练中，比如让 LLM Agent 学会调用推荐 API 再内化推荐知识。
- 延迟敏感的线上场景：通过内化将工具能力蒸馏到小模型，实现推理时无工具调用，降低延迟，适用于电商搜索/推荐的高并发服务。
- 冷启动 SFT + RL 的组合：先通过格式化示例让模型学会工具调用格式，再用环境反馈优化决策，可提升 Agent 在复杂决策任务（如多步推荐、交互式搜索）中的鲁棒性。
- 评估基准设计：SpatialCLI-Bench 聚焦组合感知，类似思路可构建面向推荐领域的组合能力基准，评估 Agent 在 item 检索、过滤、排序等多步骤中的表现。
RODS：奖励驱动的在线数据合成用于多轮工具使用智能体
🧭 Agent 动态数据合成 · 能力边界检测 ★ 深度解读
Ant Group · Zhejiang University · Westlake University · Shanghai Innovation Institute
利用GRPO中进度奖励方差作为能力边界检测器，动态合成多轮变体解决静态数据信号耗竭，以约20倍更少数据达到大规模离线合成水平
📌 工作参考价值（4 点）
- 能力边界检测的复用：在训练对话推荐或搜索Agent时，可直接用RL的进度奖励方差识别高梯度区域，无需额外推理，用于动态筛选或重放样本。
- 结构化同构重采样：保持任务图结构（如API依赖拓扑、对话状态转移）不变，仅替换场景实体与叙述，生成大量语义连贯的边界样本，可迁移到对话推荐的多轮数据增广中。
- 动态缓冲管理：随着策略迭代，退役已掌握或过难的任务，始终保持训练池处于高方差区域，可借鉴到推荐系统RL训练的样本生命周期管理，避免过时数据稀释梯度。
- 多智能体合成流水线：Planner + Executor + Rewrite + Critique 的流水线设计可直接用于自动生成高质量多轮对话训练数据，减少人工标注，适用于电商客服、语音助手等场景。